در محل بناى اين مسجد گورستان مشركان بود . لذا پيغمبر ( ص ) دستور داد استخوانهاى مردگان را از زير خاك به در آورند و دور افكنند و در آن محل ساختمان مسجد را بنيان نهند . رسول خدا ( ص ) و مهاجران و انصار ، در ساختن مسجد كار مىكردند و يكى از آن ميان اين بيت را خواند : لئن قعدنا و النبى يعمل * لذاك منّا العمل المضلل « 185 » ابن هشام در سيرهء خود مىنويسد : على بن ابى طالب ( ع ) در آن روز اين اشعار را مىخواند : لا يستوى من يعمر المساجدا * يدأب فيها قائما و قاعدا و من يرى عن الغبار حائدا « 186 » عمار بن ياسر نيز همين ابيات را از على ( ع ) ياد گرفته مىخواند . تا آن كه مردى از اصحاب رسول خدا ( ص ) گمان كرد كه عمار اين ابيات را در خطاب به او و سرزنش وى مىخواند . در روايتى كه زياد بن عبد اللّه بكايى از ابن اسحاق براى ما نقل كرده ، وى از اين فرد اخير به صورت رجل ( مردى ) نام برده است . آن مرد به عمار گفت : اى پسر سميه آن چه را كه امروز مىگفتى شنيدم . به خدا سوگند ( چنان چه به اين گفتار ادامه دهى ) اين عصا را - به عصايى كه در دست داشت اشاره كرد - بر تو فرود خواهم آورد . رسول خدا ( ص ) از شنيدن اين سخن خشمگين شد و فرمود : ايشان را با عمار چه كار ؟ او آنها را به بهشت فرا مىخواند و آنها او را به آتش . همانا عمار پوست ميان دو ديدهء من است . . . اما روايتى كه در سيرهء حلبيه در اين باره آمده چنين است : مردى كه پنداشت عمار به دو طعنه مىزند ، عثمان بن مظعون نبوده است زيرا اگر او همان مرد بود ابن هشام نامش را كتمان نمىكرد و بر اين سخن تنها اكتفا نمىكرد كه ابن هشام آن شخص را « رجل » ناميد بلكه حقيقت آن است كه اين « رجل » شخص محتشمى بوده كه ابن اسحاق از تصريح به نام او خوددارى كرده است . اين شخص لباسى سپيد در بر كرده بود و خود را از گرد و غبار دور نگه مىداشت . مسلمانان نخست ديوار مسجد را با سنگ و آنگاه با خشت ( آجر ) به اندازهء قامت يك انسان بالا آوردند و از تنهء درختان خرما سقف آن را ساختند و بر بالاى آن سايبانى درست كردند و در كنار مسجد اتاقهاى پيغمبر و اصحابش را بنا نمودند . پيامبر ( ص ) هفت ماه در منزل ابو ايوب به سر برد تا كار ساختمان مسجد و اتاقهايش به پايان رسيد . و در طبقات ابن سعد روايت شده است كه پيغمبر ( ص ) از منزل ابو ايوب ، زيد بن حارثه و ابو رافع را به مكه فرستاد و دو شتر و پانصد درهم به آنها داد و آن دو فاطمه و ام كلثوم دختران پيامبر و سوده دختر زمعه و شوهرش را پيش آن حضرت آوردند . اما اين روايت با آن چه كه عامه نقل مىكنند

--> ( 185 ) هرگاه ما بنشينيم و پيغمبر كار كند ، چنين كارى براى ما گمراهىآور است . ( 186 ) هرگز آن كس كه مساجد را آباد مىكند و پيوسته در اين كار ايستاده و نشسته مىكوشد با آن كسى كه از گرد و غبار فاصله مىگيرد ، برابر نيست .